Heinrich Himmler dan Hermann Göring—diinspirasi oleh peletakkan jawatan Blomberg—menuduh Fritsch yang belum berkahwin terlibat dalam aktiviti homoseks. Fritsch bukan kaki perempuan dan lebih suka menumpukan kerjaya tenteranya. Beliau telah dipaksa meletakkan jawatan pada 4 Februari 1938. Penggantinya—Walther von Brauchitsch—telah disyorkan oleh Fritsch. Hitler mengambil peluang akan situasi ini melalui penggantian beberapa jeneral dan menteri dengan setiawan Nazi, yang menguatkan kawalannya ke atas Angkatan Tentera Jerman (Wehrmacht). Ia kelak diketahui bahawa tuduhan tersebut adalah palsu, dan sebuah mahkamah kehormat tentera meneliti kes Blomberg-Fritsch, walaupun ia dipengerusikan oleh Göring sendiri. Kejayaan pengilhakan Austria kedalam Jerman Raya (Anschluss) pada 12 Mac menghentikan semua pengkritik Hitler, Göring dan Himmler. Fritsch telah dibebaskan pada 18 Mac, tetapi kerosakan namanya telahpun berlaku.

Berikutan pembebasannya, Fritsch cuba mencabar pemimpin SS Heinrich Himmler bertarung. Fritsch membuat cabaran rasmi dan dilaporkan mempraktikan kemahiran pistolnya pada masa lapang. Surat telah diberi kepada Jeneral Gerd von Rundstedt untuk penghantaran, tetapi Rundstedt, berusaha untuk menghubungkan ketidakpercayaan antara Wehrmacht dan SS, akhirnya menyakinkan Fritsch untuk menghentikan idea itu. (Tidak mungkin pertembungan itu akan berlaku kerana Hitler telah melarang pegawai kanan parti, seperti Himmler, daripada bertarung.)[11]

Walaupun tuduhan itu palsu, Fritsch tetap setia kepada rejim Nazi, dan mengekalkan keyakinannya bahawa Jerman berdepan dengan konspirasi Yahudi antarabangsa untuk menjahanamkan Reich.[12] Selepas pembasmian kaum Kristallnacht pada November 1938, Fritsch menulis sepucuk surat kepada seorang sahabat pada 22 November 1938 iaitu "Sudah tentu perjuangan dengan Yahudi antarabangsa secara rasminya kini bermula, dan akibat semulajadi yang akan membawa perang dengan England dan Amerika Syarikat, benteng-benteng politik orang Yahudi".[13] Didalam sepucuk surat lain kepada sahabatnya, iaitu Baroness von Schutzbar, pada 11 Disember 1938 Fritsch menulis:

"Sangat aneh sehingga ramai orang harus menganggap masa hadapan dengan kebimbangan meningkat, walaupun kejayaan Führer' yang tidak dapat dipertikaikan pada masa lalu...Tidak lama selepas Perang, saya menyimpulkan bahawa kita mesti menang dalam tiga perjuangan, jika Jerman sekali lagi ingin kuat:.

(1) Perjuangan terhadap golongan pekerja. Hitler telahpun menang;

(2) Terhadap Gereja Katolik, mungkin lebih baik dinyatakan sebagai Ultramontanisme dan

(3) Terhadap orang Yahudi.

Kita berada di tengah-tengah perjuangan ini, dan menentang orang Yahudi adalah yang paling sukar. Saya harap semua orang sedar akan selok-belok kempen ini."[14]

Fritsch memberitahu Ulrich von Hassell—apabila orang itu cuba melibatkannya dalam plot anti-Nazi—yang Hitler adalah takdir Jerman, dan tidak ada apa yang boleh dilakukan untuk mengubah fakta itu.[15]